डेटा की दुनिया पिछले एक दशक में नाटकीय रूप से बदल गई है। पारंपरिक डेटाबेस, जो एक संरचित प्रारूप में जानकारी संग्रहीत करने के लिए डिज़ाइन किए गए थे, असंरचित डेटा के विशाल गोदामों में विकसित हुए हैं जो विभिन्न स्थानों पर कई सर्वरों पर बैठते हैं। बहुत समय पहले की बात नहीं है, हम ओरेकल और आईबीएम जैसे बीहमोथ्स के वर्चस्व वाले मोनोलिथिक सिस्टम को देखने के आदी थे। यदि आप एक विश्लेषक या व्यावसायिक उपयोगकर्ता हैं, जिन्हें इस प्रकार के डेटा तक पहुंच की आवश्यकता है—और किसे नहीं?—इसका मतलब धीमी गति से चलने वाले सिस्टम हैं जिन्हें प्रबंधित करना अविश्वसनीय रूप से कठिन था।  एक नए सॉफ्टवेयर स्टैक का जन्म  सिस्टम की बढ़ती जटिलता ने अंततः आधुनिक सॉफ़्टवेयर स्टैक की आवश्यकता को समाप्त कर दिया जो संगठनों को लागत प्रभावी रहने के प्रबंधन के दौरान जटिल एप्लिकेशन चलाने में मदद कर सकता है। ओपन सोर्स मूवमेंट ने जटिल अनुप्रयोगों को एक साथ रखने की लागत को नाटकीय रूप से कम करके, जैसे कि पूर्ण-पाठ खोज के लिए लोचदार खोज और मॉडलिंग के लिए PyTorch में मदद की। सॉफ्टवेयर की मजबूत पैकेजिंग और संचालन ने सिस्टम की उपयोगिता, स्थिरता और अर्थशास्त्र में सुधार किया।  द   (एमडीएस), जिसने पिछले एक दशक में बहुत अधिक कर्षण देखा है, ओपन सोर्स मूवमेंट पर आधारित है और उद्यम डेटा स्टैक बनाने के उद्देश्य से विचारों, उपकरणों और कार्यप्रणाली का एक संग्रह है। मॉडर्न डेटा स्टैक  एमडीएस को बढ़ाने में चुनौतियां  2010 के दशक में, हमने एमडीएस के भीतर ओपन सोर्स टूल्स को तेजी से अपनाया। हालाँकि, उनकी प्रारंभिक सफलता के बाद, जब उन्हें स्केल करने की बात आई तो इनके आसपास कई संगठनों की पहल चुनौतियों का सामना करना पड़ा:  संगठनों और टीमों को जिन उपकरणों, विन्यासों, पद्धतियों और अंतःक्रियाओं के साथ रहना पड़ा, उनकी संख्या के कारण   भारी था, जिससे प्रतिभाओं के बीच बर्नआउट और उच्च एट्रिशन दर हो गई। संज्ञानात्मक अधिभार  इन तकनीकों से जुड़े   अविश्वसनीय रूप से खड़ी थी। किसी को यह समझना होगा कि इनमें से अधिकांश ओपन सोर्स टूल नेटफ्लिक्स, गूगल और उबेर जैसे परिष्कृत संगठनों में बनाए गए थे और जरूरी नहीं कि छोटे तैनाती वाले संगठनों की जरूरतों के अनुरूप हों-पैमाने का एक अंश। सीखने की अवस्था  अंतरिक्ष में नवाचार की गति का मतलब   भी था। जिस गति से नए, बेहतर, तेज, अधिक कुशल उपकरण दृश्य पर आ रहे थे, इंजीनियरों को तेजी से सीखना और छोड़ना पड़ा। नई प्रौद्योगिकियों के लिए कम जीवनकाल  डेटा विज्ञान समुदाय वह है जिसमें कई परस्पर विरोधी दृष्टिकोण होते हैं, जिसके परिणामस्वरूप   (उनके व्यवसाय के लिए सबसे अच्छा क्या है)। अधिक बार नहीं, इस चुनौती को दूर करने का एकमात्र तरीका निर्माण करना है, जो न केवल महंगा है, बल्कि समय लेने वाला भी है। स्पष्टता की कमी होती है कि किसी को किस दृष्टिकोण को अपनाने की आवश्यकता है  यदि आप गार्टनर जैसे प्रचार चक्रों का अनुसरण कर रहे हैं, तो शायद आपके लिए यह जानना कोई आश्चर्य की बात नहीं है कि   है (जो शायद एक दशक पहले की तुलना में बहुत तेज़ी से आती है)। Hadoop, NoSQL और डीप लर्निंग जैसी तकनीकें जिन्हें बहुत पहले "हॉट" माना जाता था, वे पहले ही गार्टनर प्रचार चक्र के अपने चरम को पार कर चुकी हैं। प्रौद्योगिकी निवेश की समाप्ति तिथि  अंक # 1 और # 2 ने उद्योग में तनाव के स्तर को जोड़ने और प्रौद्योगिकियों को अपनाने और उपयोग करने के लिए उपलब्ध प्रतिभा को सीमित करने में एक प्रमुख भूमिका निभाई है। हमने DevOps स्पेस में एक समान प्रवृत्ति देखी है, जिसमें डेवलपर प्रतिभा की आपूर्ति नई डिजिटल सेवाओं की मांग को पूरा नहीं कर रही है।   रहे हैं - जो उच्च बर्नआउट की ओर ले जा रहा है, और एक पेशेवर डेवलपर की औसत करियर अवधि 20 साल से कम है। उन्होंने हाल ही में एक थ्रेड पोस्ट किया जहां उन्होंने डेवलपर के नेतृत्व वाले परिदृश्य में जटिलता में गहरा गोता लगाया, और हम मदद नहीं कर सकते लेकिन उनके दावों और एमएलओपीएस स्पेस के बीच कई समानताएं देख सकते हैं।  डेल कैपिटल के टायलर ज्वेल इस समस्या के बारे में काफी मुखर  अंक #3 और #4 आज के डेटा लोगों की दुर्दशा को उजागर करते हैं-यदि समस्याओं को हल करना पर्याप्त नहीं था, तो वे यह पता लगाने में अधिक समय व्यतीत करते हैं कि वे "कैसे" आगे बढ़ सकते हैं और समस्याओं को हल करने में सक्षम होने के बिना समस्याओं को हल कर सकते हैं। करने की जरूरत है, या अपेक्षित परिणाम।  एक बदलाव आ रहा है…  हम संगठनों द्वारा उपयोग किए जाने वाले डेटा टूल में बदलाव देख रहे हैं, जो एक बढ़ी हुई मान्यता से प्रेरित है कि उनमें से कई के पास अपनी बुनियादी ढांचे की जरूरतों के लिए तीसरे पक्ष के विक्रेताओं पर भरोसा करने के अलावा कोई विकल्प नहीं है। यह न केवल बजट की कमी के कारण है, बल्कि अन्य बाधाओं के कारण भी है, जैसे डेटा सुरक्षा और उद्गम।  इसके अलावा, स्वचालित प्रक्रियाओं की मांग में वृद्धि हुई है जो उद्यमों को संचालन को बाधित किए बिना या डाउनटाइम के कारण आसानी से एक प्रदाता से दूसरे में कार्यभार स्थानांतरित करने की अनुमति देती है। हम वित्तीय सेवाओं जैसे उद्योगों के भीतर इनका प्रभाव देख रहे हैं जहां सफलता के लिए डेटा प्रबंधन अक्सर महत्वपूर्ण होता है (उदाहरण के लिए, क्रेडिट रेटिंग एजेंसियां)।  इन सभी के साथ-साथ ऊपर सूचीबद्ध चुनौतियों के परिणामस्वरूप, समुदाय में कई विकास हुए हैं:  मैं  संगठन तेजी   बनाने की आवश्यकता पर जोर दे रहे हैं, जो डेटा गुणवत्ता और डेटा शासन पर ध्यान केंद्रित करने वाले उपकरणों को जन्म दे रहे हैं। से अपने डेटा में विश्वास  मशीन लर्निंग और डेटा साइंस की पहल को परिणामों से जोड़ा जा रहा है, और व्यावसायिक मॉडल जो स्पष्ट   हैं, पर जोर दिया जा रहा है। रूप से विशिष्ट व्यावसायिक उपयोग के मामलों से जुड़े हुए  लगातार बढ़ती लागत और जटिलता के परिणामस्वरूप फीचर एक्सटेंशन, अधिग्रहण और एकीकरण के माध्यम से समेकन हो रहा है। उदाहरण के लिए, स्नोफ्लेक एक पूर्ण विश्लेषणात्मक अनुप्रयोग स्टैक बनने के लिए अपने भागीदारों की सूची को तेजी से बढ़ा रहा है।  मॉडल परिनियोजन के बाद की जटिलता को ध्यान में रखते हुए, हम   जैसे उपकरणों का उद्भव देख रहे हैं, जो मॉडल के प्रदर्शन का अनुमान लगाने, बहाव का पता लगाने और पुनरावृत्त परिनियोजन के माध्यम से उत्पादन में मॉडल को बेहतर बनाने में मदद करते हैं। हम इसे व्यवसायों के लिए व्यवसाय, डेटा और मॉडल के बीच के लूप को बंद करने के तरीके के रूप में देख रहे हैं। NannyML  आर्टिफिशियल इंटेलिजेंस अनुप्रयोगों के लिए आवश्यक बिल्डिंग ब्लॉक्स को एक साथ लाने के लिए एक नया संगठन,   उभरा। वे   बनाने पर काम कर रहे हैं, जिसका उद्देश्य "नवीनतम और महानतम" होने का दावा करने वाले ढेर सारे उपकरणों की शुरूआत के कारण उत्पन्न शोर को कम करना है, और गैर-तकनीकी कंपनियों के स्तर को तेजी से बढ़ाने में मदद करना है। . एआई इंफ्रास्ट्रक्चर एलायंस मशीन लर्निंग के लिए एक कैनोनिकल स्टैक  एमडीएस की परिभाषा को डेटा उत्पादों, ऐप्स और अन्य तत्वों को शामिल करने के लिए विस्तारित किया जा रहा है। यह एमडीएस को फुल-स्टैक बना रहा है।   और सेवाएं उभर रही हैं जो लक्षित उपयोगकर्ताओं (जैसे डेटा वैज्ञानिक बनाम विश्लेषक), कौशल उपलब्धता, और परिणाम प्राप्ति के समय के आधार पर स्थान को विभाजित करती हैं। नए उत्पाद  एमडीएस उपयोगकर्ता आधार विश्लेषिकी टीमों और व्यावसायिक उपयोगकर्ताओं को शामिल करने के लिए विस्तार कर रहा है। इसके परिणामस्वरूप बेहतर उपयोगकर्ता अनुभव, कम-कोड इंटरफेस और स्वचालन में सुधार हुआ है।  और अंत में, हम "   " जैसे दृष्टिकोणों का उदय देख रहे हैं, जो अनिवार्य रूप से एमडीएस और एमएलओपीएस स्टैक का एक पुनर्निर्माण है। ये दृष्टिकोण व्यवसाय के लिए प्रासंगिकता के साथ-साथ व्यावसायिक मूल्य उत्पन्न करने के लिए उत्पन्न सुविधाओं की डाउनस्ट्रीम खपत पर जोर देते हैं। पोस्ट-मॉडर्न स्टैक  मैं  इसका क्या मतलब है  पूरे उद्योग में टूल और प्लेटफ़ॉर्म का समेकन, सरल प्लेटफ़ॉर्म विकास और प्रबंधित सेवाओं का उपयोग हो रहा है। यह व्यवसायों की जटिलता से निपटने की आवश्यकता से उपजा है। इस स्थान का हिस्सा बनने का यह एक रोमांचक समय है, और मैं यह देखने के लिए इंतजार नहीं कर सकता कि वर्ष के दौरान परिदृश्य कैसे विकसित होता है।  स्क्रिबल डेटा में, (जिस कंपनी की मैंने सह-स्थापना की है) हम इस विकास के बारे में गहराई से जानते हैं क्योंकि यह हो रहा है। हम एक विशिष्ट समस्या पर ध्यान केंद्रित करते हैं - उन्नत विश्लेषिकी और डेटा विज्ञान उपयोग मामलों के लिए फीचर इंजीनियरिंग। यह समस्या स्थान महत्व के रूप में लगातार विकसित हुआ है और उन तरीकों से विकसित हुआ है जो उपरोक्त बिंदुओं के अनुरूप हैं। सही प्रौद्योगिकी मिश्रण और समाधान फोकस के साथ, उपयोग के मामलों के लिए उत्पाद मूल्य को संरेखित करना संभव है, जबकि प्रत्येक उपयोग के मामले के लिए 5x तेज समय से मूल्य (टीटीवी) प्राप्त करना संभव है।    भी प्रकाशित यहाँ

Stacks

Community Is

Dell

Google

Netflix

Oracle

Target

Uber

YouTube

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Big Data

2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - HackerNoon Contributor of the Year - Big Data

Nominated for 2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - Data Science Demon

यह ऑडियो कहानी की मूल भाषा में निर्मित है!

बहुत लंबा; पढ़ने के लिए

Get Free Unlimited IP Geo Data With IPinfo Lite

डेटा इन्फ्रास्ट्रक्चर की बढ़ती जटिलताएं: लागत प्रभाव और आगे का रास्ता

डेटा इन्फ्रास्ट्रक्चर की बढ़ती जटिलताएं: लागत प्रभाव और आगे का रास्ता

About Author

टिप्पणियाँ

लेबल

इस लेख में चित्रित किया गया था

Related Stories

जलयात्रा: डेटा झीलों के साथ उत्पादन-ग्रेड आरएजी अनुप्रयोगों का विकास

हैकरनून कोडेड: शीर्ष 10 देश जहां हैकरनून सबसे अधिक सक्रिय है

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

जलयात्रा: डेटा झीलों के साथ उत्पादन-ग्रेड आरएजी अनुप्रयोगों का विकास

हैकरनून कोडेड: शीर्ष 10 देश जहां हैकरनून सबसे अधिक सक्रिय है

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps